Hệ thống cấp bậc Công an nhân dân Việt Nam lần đầu tiên được quy định bởi Nghị định 331/TTG ngày 1 tháng 9 năm 1959, quy định hệ thống cấp bậc Công an nhân dân Vũ trang (nay là Bộ đội Biên phòng Việt Nam). Hệ thống này tương tự như hệ thống quân hàm Quân đội nhân dân Việt Nam nhưng có cấp hiệu nền xanh lục và vạch vàng tương tự như cấp hiệu quân hàm Hồng quân Liên Xô. Cấp bậc cao nhất là Đại tướng.[1]

Ba năm sau, Pháp lệnh 34/LCT ngày 20 tháng 7 năm 1962 quy định thêm hệ thống cấp bậc Cảnh sát nhân dân[2]. Cấp hiệu của Cảnh sát nhân dân tương tự cấp hiệu Công an nhân dân Vũ trang nhưng có nền đỏ. Cấp bậc cao nhất của Cảnh sát nhân dân là Trung tướng.

Mặc dù 2 cấp bậc cao nhất của Công an nhân dân bấy giờ là Đại tướng và Thượng tướng, nhưng trong suốt một thời gian dài, cấp bậc thực tế cao nhất của Công an nhân dân là Trung tướng (ngạch Công an nhân dân Vũ trang). Đến năm 1987, Pháp lệnh về lực lượng An ninh nhân dân Việt Nam ngày 2 tháng 11 năm 1987, quy định hệ thống cấp bậc An ninh nhân dân với cấp bậc cao nhất là Đại tướng, nhưng không có bậc Thượng tá[3]. Cấp hiệu của An ninh nhân dân có nền xanh úa, viền đỏ và vạch xanh (cấp tướng nền vàng). Năm 1989, Pháp lệnh về lực lượng Cảnh sát nhân dân Việt Nam ngày 28 tháng 1 năm 1989 quy định lại hệ thống cấp bậc Cảnh sát nhân dân tương tự như hệ thống cấp bậc An ninh nhân dân (tức là cũng cao nhất là Đại tướng và không có bậc Thượng tá).[4]. Cũng trong năm 1989, Bộ trưởng Bộ Nội vụ Mai Chí Thọ mới thụ phong cấp bậc Đại tướng (ngành An ninh nhân dân) và 2 Thứ trưởng Cao Đăng Chiếm và Lâm Văn Thê cùng thụ phong cấp bậc Thượng tướng (đều là ngành An ninh nhân dân).

Năm 1992, 2 Pháp lệnh sửa đổi lại bổ sung cấp bậc Thượng tá vào hệ thống cấp bậc của An ninh nhân dân và Cảnh sát nhân dân.[5][6]

Năm 1995, lực lượng Bộ đội Biên phòng chuyển hẳn sang Bộ Quốc phòng, hệ thống cấp bậc Công an chỉ còn 2 ngành An ninh nhân dân và Cảnh sát nhân dân với 2 hệ thống cấp hiệu riêng biệt:

• Cấp hiệu của An ninh nhân dân có nền xanh úa, viền đỏ và vạch xanh lục (cấp tướng nền vàng).
• Cấp hiệu của Cảnh sát nhân dân có nền đỏ, viền xanh lục và vạch vàng.

Năm 2007, 2 ngạch An ninh nhân dân và Cảnh sát nhân dân sử dụng thống nhất một hệ thống cấp hiệu như ngày nay (nền đỏ, viền xanh lục, vạch vàng, cấp tướng nền đỏ, viền vàng; công an chuyên môn kỹ thuật nền đỏ, viền lục, vạch xanh lam).[7]